近日，自然语言处理（NLP）领域的国际顶级学术会议“国际计算语言学协会年会”（ACL 2021）在线上召开。根据 ACL 2021官方数据，今年大会的有效投稿数量达到3350篇，最终有21.3%的论文录用到主会（Main Conference），并额外接收了14.9%的论文到 Findings 子刊。其中，小牛翻译团队有两篇长文论文被ACL主会收录（分别与腾讯公司、香港中文大学合作），展现出在机器翻译领域的技术积淀和源头技术创新能力。这两篇论文覆盖了语音翻译、模型压缩等NLP领域的热点和前沿研究方向，提出了包括面向端到端语音翻译的预训练模型使用方法、神经网络权重知识迁移方法。SATE：面向端到端语音翻译的预训练模型使用方法：堆叠声学与文本编码器https://aclanthology.org/2021.acl-long.204/https://github.com/xuchenneu/SATE端到端语音翻译（ST）的性能受限于训练数据稀缺问题，一种常用的方法是利用预训练的语音识别（ASR）和机器翻译（MT）模型来初始化ST模型。论文对ASR、MT和ST模型进行了分析，提出了一种带有适配器模块的模型框架SATE来进行声学和文本编码，该框架可以高效地利用预训练模型。在非受限场景下，首次证明了端到端模型可以取得与级联模型相当的表现。本工作由小牛翻译团队与腾讯民汉机器翻译团队合作完成。Weight Distillation：神经网络权重知识迁移方法 https://aclanthology.org/2021.acl-long.162/https://github.com/Lollipop321/weight-distillation知识蒸馏作为一种有效的模型加速和模型压缩方法，近年来得到了广泛的使用。它通过使用大型神经网络的预测作为小型神经网络的学习目标，将知识从大型神经网络转移到小型神经网络。但是，这种方式忽略了大型神经网络内部的知识，例如权重。在本文中我们提出权重蒸馏，通过参数生成器将大型神经网络的权重知识转移到小型神经网络。在WMT16 En-Ro，NIST12 Zh-En和WMT14 En-De机器翻译任务上，小牛翻译团队的实验表明，权重蒸馏学习的小型网络比大型网络快1.88~2.94倍，而且具有很好的翻译性能。这些机器翻译领域的源头技术创新将进一步增强小牛翻译的机器翻译能力，不但能够赋能小牛多国语机器翻译系统、小牛智能办公本、小牛翻译离线SDK等产品，使其不断优化迭代，为用户带来更便捷、更优质的服务；还能赋能专利、教育、医疗、金融、电商等行业领域，推动机器翻译技术+行业的创新应用，真正实现让机器翻译技术赋能百业、惠及人人。专注于机器翻译技术基础研究48年，拥有百余人的机器翻译产学研团队，自主研发以中文为核心的NiuTrans机器翻译系统，支持304种语言随心互译。通过丰富的应用与功能，为用户提供机器翻译服务全栈式解决方案，致力于为机器翻译产业化应用提供基础平台，帮助企业级用户在国际业务中消除语言障碍。
小牛翻译团队与内蒙古大学东北亚语言资源中心达成合作意向